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面向 WSI 的 乳腺 病理 亚 型 分 类 研究 
陈 金 令 ， 李 ” 洁 ， 赵 成 明 , 刘 春 


(西南 石油 大 学 电气 信息 学 院 , 成 都 610599) 


摘 要 : 为 实现 乳腺 病理 WSI 图 像 的 精准 分 类 ， 提 出 了 一 种 基于 混合 连接 的 门 控 卷 积 神 经 网 络 分 类 方法 。 搭 建 了 
局 部 残 差 连接 和 全 局 稠密 连接 的 混合 模块 ， 将 压缩 激活 门 控 单元 蛤 入 混合 模块 ， 建 立 了 混合 模块 与 过 渡 层 交替 连 
接 的 骨干 网 络 。 结 合 基于 四 又 树 分 Wo 基于 BreastSet 临床 娄 出 ， 


该 方法 的 图 像 级 、 患 者 级 和 病理 级 准确 率 分 别 达到 92.24%、92.83% 和 92.18%， 相 较 其 他 方法 ， 准 确 率 提高 ， 参 数 
量 和 计算 量 降 低 ， ee 
关键 词 : 全 切片 图 像 ; 乳腺 病理 亚 型 分 类 ; 计算 机 辅助 诊断 ; 门 控 卷 积 网 络 ; 混合 连接 


中 图 分 类 号 : TP391.5 doi: 人 
Research of breast pathological subtype classification on WSI 


Chen Jinling', Li Jie, Zhao Chengming, Liu Xin 
(School of Electrical Information, Southwest Petroleum University, Chengdu 610599, China) 


Abstract: For precise classification of pathological breast WSI images, the study proposed the gated convolution network 
based on hybrid connection (HC-GCN) , set up a hybrid block of local residual connection and global dense connection, and 
through embedding the Squeeze -Excitation-and-Gated (SEG) module into the hybrid block, established a backbone network 
for alternate connection between the hybrid block and the transition layer. In combination with a training model for image 
data enhancement based on quad-tree image segmentation method, the experimental results based on the BreastSet clinical 
data set showed 92.24%, 92.83% and 92.18% of accuracy at the image level, patient level and pathology level respectively. 
Therefore, compared with other methods, this method is of great clinical application value for improved accuracy as well as 
reduced number of parameters and amount of computation. 

Key words: WSI; breast pathological subtype classification; computer auxiliary diagnosis; gated convolutional network; 
hybrid connection 


引言 第 二 种 是 基于 数据 增强 和 卷 积 神经 网 络 设计 的 深度 学 习 分 类 
加 方法 ， 二 分 类 和 多 分 类 任务 获得 的 准确 率 分 别 达到 98.33% 
乳腺 癌 是 中 国 女 性 第 一 高 发 恶性 肿瘤 ， 发 病 率 逐年 升 高 ， 和 88.23%。 程 年 中 等 人 运用 VGG16 和 InceptionV3 两 个 深度 
严重 威胁 中 国 女 性 的 生命 健康 由。 lei nan 治愈 性 疾 学 习 模 型 ， 结 合 迁 移 学 习 和 数据 增强 等 方法 ， 进 行 良 恶性 二 
病 ， 精 准 地 诊断 乳腺 癌 可 以 最 大 程 高 患者 的 生存 概率 ” ”分 类 获得 的 准确 率 分 别 为 94.43% 和 82.64%， 进 行 病理 亚 型 
和 生活 质量 。 随 着 智能 算法 的 发 展 、 医 学 数据 的 积累 和 医疗 八 分 类 获得 的 准确 率 分 别 为 82. 97% 和 58.78%。Nguyenlsl 等 
水 平 的 进步 ， 各 种 智能 算法 也 逐渐 被 运用 到 了 医疗 领域 。 传 人 结合 调整 大 小 的 原始 图 像 等 方法 建立 CNN 模型 ， 对 多 种 
统 的 图 像 分 类 算法 由 特征 提取 、 特 征 编码 、 分 类 器 设计 三 个 ”乳腺 癌 类 型 进行 自动 分 类 ， 获 得 的 准确 率 可 达 73.68%。MtI]1 
步骤 组 成 中， 人 工 提 取 病 理 特征 的 过 程 通常 需要 占用 大 量 的 等 人 利用 图 像 增强 技术 人 处理 每 个 图 像 数 据 ， 通 过 注意 模块 对 
计算 资源 ， 难 以 实用 。 、 neural 图 像 的 重要 关键 区 域 进行 选择 和 人 处理， 建立 BreastNet 了 模 
networks, CNN) 有 具有 良好 的 自动 特征 建 模 能 力 申 。 目 前 , 乳 。 型， 实验 显示 良 恶 性 二 分 类 准确 率 最 高 达到 98.80%。 李 雨 
腺 病理 图 像 分 类 领域 广泛 使 用 CNN 构建 深度 学 习 (deep 青 Q9 使 用 深度 学 习 方法 作为 特征 提取 器 ， 根 据 乳 腺 图 像 特 
learning, DL) 模 型 和 内。 征 构建 随机 森林 模型 ， 该 模型 进行 多 分 类 的 准确 率 达 到 
乳腺 组 织 病理 图 像 在 临床 诊断 时 发 挥 着 重大 作用 ， 乳 腺 92.5%。JiangL 等 人 建立 了 基于 小 型 SE-ResNet 模块 的 卷 积 

癌 病 理学 图 像 数 据 集 (breast cancer histopathological database， ”神经 网 络 模型 ， 实 验 显 示 良 恶性 二 分 类 和 病理 亚 型 八 分 类 的 
BreakHis) 是 已 做 切 分 处 理 的 大 型 公共 数据 集 ， 目 前 已 有 许 ”准确 率 分 别 为 98.87%~99.34% 和 90.66%-~93.81%。 刘 巧 利 上 
多 研究 者 围绕 其 进行 病理 分 类 研究 。 例 如 ，Hant51 等 人 利用 等 人 提出 了 基于 DenseNet 网 络 的 乳腺 癌 分 类 模型 ， 在 二 分 
深度 学 习 模 型 基础 层 构 建 CSDCNN 模型 ， 在 多 分 类 任务 中 类 任务 中 得 出 的 识别 准确 率 平均 值 达 到 了 99.2%。 刘 靖 堆 3 
获得 的 平均 分 类 准确 率 达 到 93.3%。Bardoulg 等 人 采用 基于 等 人 提出 了 基于 Inception-ResNet-V2 的 乳腺 癌 病 理 图 像 识 别 
袋 模型 (Bag of words)、 局 部 约束 线性 编码 器 (Locality ”方法 ， 获 得 的 八 分 类 准确 率 达 到 79.7%。 明 涛 6 等 人 结合 注 
constrained linear coding) 和 支持 向 量 机 (Support Vector 意 力 机 制 算 法 ， 提 出 基于 深度 学 习 的 多 尺度 通道 重 校准 模型 
Machine, SVM) 分 类 器 的 手工 特征 提取 方法 ， 在 进行 二 分 类 该 模型 在 良 亚 二 分 类 实验 中 展示 的 准确 率 达 到 88.87%。 于 
和 多 分 类 任务 时 获得 的 准确 率 分 别 达 到 96.15% 和 93.31%; 凌 涛 05 等 人 提出 了 一 种 基于 卷 积 神经 网 络 的 多 任务 模型 ， 
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模型 在 二 分 类 任务 
在 多 分 类 上 达到 了 


亢 理 WSI(whole slide image，WSD 图 
乳腺 病理 WSI 图 像 数据 进行 
值 。Cruz-Roal0 等 人 提出 了 对 于 全 切片 乳腺 病理 医 
[ 织 区 的 自动 检测 和 视觉 分 析 的 深度 学 习 方 法 ， 
像 上 获得 了 84.23% 的 均衡 准确 度 。Wang08l 
等 人 设计 了 转移 乳腺 癌 检 测 器 对 哨 落 淋 巴结 的 WSI 图 像 进 
动 检测 ， 获 得 的 图 像 分 类 AUC 达到 0.995， 肿 瘤 定 位 得 
等 人 建立 四 个 全 卷 积 网 络 组 成 的 深度 
学 习 模型 对 乳腺 WSI 图 像 进行 五 分 类 ， 得 出 的 预测 效果 与 


在 49 张 WSI 图 


分 达到 0.733 。Gecerl19 


陈 金 令 ， 等 : 


F 达 到 了 98.55% 一 99.52% 的 分 类 准确 率 ， 
92.26% 一 94.85% 的 分 类 准 
于 稠密 卷 积 神经 网 络 、 注 意 力 机 制 和 
| 织 病 理 图 像 的 多 分 类 模型 ， 在 BreakHis 数据 
E 性 实验 ， 得 出 良 恶 性 二 分 类 识别 准确 率 达 到 
， 乳 腺 病理 亚 型 八 分 类 的 识别 准确 率 达 到 了 95.5%。 

在 对 乳腺 病理 类 型 进行 临床 诊断 过 程 


确 率 。 赵 晓 平 0 
上 点 损失 函数 所 


PF， 大 多 是 直接 对 


里 学 家 诊断 结果 有 55% 的 相似 度 。 


接 观 察 分 
了 实用 价 
日 多 | 中 浸 


为 实现 对 乳腺 全 切片 图 像 病理 亚 型 的 精准 


自 绵 阳 市 中 心 医 院 的 乳腺 病理 WSI 
BreastSet 数据 集 ， 并 提出 了 基于 混合 连接 的 门 控 卷 积 网 络 模 
4(gated convolution network based on hybrid connection, HC- 


GCN) 对 其 进行 分 类 研究 。 模 型 采用 混合 连接 的 组 织 架构 ， 


通过 跨 层 的 “短路 连 ] 


判 的 门 控 结 构 对 特征 信息 进行 


， 降 低 稠密 连接 导致 的 庞大 元 余 性 ;利用 结合 了 


面向 WSI 的 乳腺 病理 亚 型 分 类 研究 


ChinaXiv 合 作 期 刊 


图 1 表示 


两 个 SEG 块 进 


每 一 个 混合 模块 者 


第 39 卷 第 9 期 


行 混合 连接 组 成 的 混合 模块 ， 
由 2 个 或 以 上 的 SEG 块 组 成 。 其 中 ， 实 


弧 线 表示 稠密 连接 ， 虚 弧 线 表 示 残 差 连 接 ,“+” 表 示 两 个 


输入 的 相 加 ，“[,] 


”表示 通道 


SEG 块 中 的 压缩 单元 与 激活 


混合 模 甘 


作 上 的 联结 ，Q@ 和 @@ 分 别 表示 
单元 。 
目的 是 代替 原本 DenseNet 网 络 中 的 稠 


密 块 ， 实 现 网 络 模型 的 混合 连接 ， 提 高 乳腺 病理 图 像 病理 分 


类 模型 的 特征 提取 能 
1.2 压缩 激活 门 控 单 元 


图 1 中 的 SEG1 和 SEG2 表示 专 为 混合 模块 搭建 的 特殊 


结构 ， 功 能 和 


图 2 中 ， 


如 图 2 所 示 ， 


颈 层 (bottleneck layenD 类 似 ， 称 为 
SEG 块 。SEG 块 的 具体 结构 如 图 2 所 示 。 


E 缩 ， 控 作 


| 表示 特征 图 的 高 、 宽 和 通道 数 。 
在 SEG 模块 中 ， 首 9 
到 像 进行 及 


全 ， 利 用 卷 积 和 组 卷 
所 特征 维度 、 减 小 模型 


高 效 分 类 ， 本 
图 像 ， 建 立 


塘 ”(shortcuts，skip connection) 加 速 向 
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确 率 提高 ， 分 类 模型 的 计算 复杂 度 减 
本 文 针对 混合 模块 特性 使 用 Tanh 函数 作为 激活 函 
引起 的 神经 元 “坏死 ”后 无 法 训练 问题 ， 从 
舌 函 数 的 角度 提升 了 模型 性 能 。 
基于 混合 连接 的 门 控 卷 积 网 络 


混合 连接 


小 。 此 儿 


数 ， 避 免 


2 等 人 提出 的 残 差 连接 为 深度 学 习 突破 了 发 


层 的 数据 通 i 


使 得 病理 


网 


展 瓶 颈 ， 


chinaXiv 


乃 然 较 大 。 另 外 ， 残 差 模 块 堆 攻 过 程 中 ， 
然 地 丢失 ， 太 多 的 残 差 聚合 会 导致 特征 
终 造成 无 法 弥补 的 误差 。DenseNet29 是 
的 以 稠密 连接 为 基础 结构 的 网 络 模型 ， 与 ResNet 同样 采用 


首 结构 训练 出 有 效 的 深层 神经 网 络 ， 建 立 

但 实际 操作 中 ，ResNet 的 网 络 层 数 通常 较 多 ， 
模型 内 部 具有 参数 共享 机 制 ， 和 计算 量 
早期 的 特征 信息 被 

言 息 损 失 过 多 ， 最 

Huang G 等 人 提出 


HH 旦 . 契合 


上 是 输出 和 输入 在 通道 维 上 相 


的 模式 ， 不 同 的 是 残 差 块 的 输出 是 输出 和 输入 相 加 ， 
二 。 DenseNet 


消失 问题 ， 促 进 了 特征 信息 的 


的 特有 


通道 数 明显 较 少 ， 减 小 了 模型 的 参数 


的 特征 信息 都 是 前 面 所 有 层 的 聚合 ， 


有 效 传递 和 利用 
信息， 对 网 络 深度 的 要 求 较 低 ， 且 每 


层 网 


ey 


积 结构 对 输入 特征 
通 


道 数 ， 进 而 减 小 模型 所 需 的 参数 量 和 计算 


3x3 深 度 


可 分 离 卷 积 


| 
XHxWxC | 


La 


压缩 激活 门 控 单 元 


Fig.2 Squeeze -Excitation-and-Gated module (SEG) 


引入 了 注意 力 机 


特征 信息 进行 有 效 处 理 ， 遗 忘 门 使 用 一 个 
于 计算 每 个 位 置 


(global context model) 月 
权重 ， 又 加 入 了 Sigmoid 函数 对 每 个 


出 的 遗忘 门 和 更 新 门 结构 对 
人 局 上 下 文 模型 


间 注 意 力 特 征 


道 进行 加 权 衰 减 ， 


相互 比较 的 作用 ， 选 出 了 最 应 被 注意 
加 ， 促 进 模型 对 征 的 挖掘 和 应 用 ， 


高 模型 的 分 类 闪 


通 
效 地 减 小 模型 所 需 的 计算 量 ， 更 新 门 使 


ftmax 函数 起 到 


像 自 注意 力 必 


但 稠密 连 
这 种 做 法 昌 


接 网 


的 标准 卷 积 对 输 


FE 信 息 与 原 信 息 赫 
能 够 在 一 定 程度 上 提 
更 新 门 和 遗忘 门 的 结构 既 能 


E 要 分 为 两 步 : 首 


和 有效 地 对 全 局 上 下 文 进行 建 模 ， 又 
能 够 有 效 地 节省 计算 资源 。 
激活 、 遗 忘 门 和 更 
1.2.1 压缩 与 激活 

压缩 单元 


F 面 将 针对 SEG 块 中 的 压缩 与 


结构 逐一 进行 介绍 。 


先 ， 利 用 1X1 


F 图 进行 压缩 ， 


理 后 的 通道 数 将 成 小 为 aC ， 


下 信息 的 利用 ， 但 也 导致 了 模型 


E 复 提取 六 


得 模型 的 元 余 性 极 高 ， 计 算 量 居 高 不 


是 高 乳腺 癌 的 检测 准确 率 ， 同 时 减 小 算法 复杂 度 和 


运算 时 间 ， 本 文 提出 局 部 的 残 差 连 接 与 全 局 
合 的 混合 连接 。 混 合 送 


E 接 模块 的 基础 结构 如 


图 1 混合 模块 
Fig.1 Hybrid block 


连接 相聚 
[ 示 。 


L 余 信 


乘 数 ， O0<a<l1; 然后 


其 中 ， 


组 卷 积 对 特有 


的 是 减 小 通道 数 ， 处 
% 表示 通道 的 宽度 
用 组 数 为 s ， 卷 积 内 核 为 3X3 的 
图 进一步 压缩 ， 通 过 设 


tride) 来 实现 模 


型 的 降 采 样 操作 ， 以 减 小 特征 图 的 高 、 宽 和 通道 数 。 两 个 压 


缩 操作 的 根本 目的 都 是 降低 模型 
特征 信息 经 过 压缩 后 进入 激活 单元 ， 运 
可 分 离 卷 积 (dethwise convolution) 进 行 激 


三 


的 参数 量 和 记 


异 里 。 


腺 病理 图 像 


言 息 相 较 于 常见 


在 输入 输出 的 特征 
的 输入 通道 很 少 、 


相 比 与 标准 卷 积 显著 较 少 ， 月 


用 3X3 的 深度 
和 数据 填充 。 乳 
的 分 类 图 像 (例如 猫 狗 、 
鲜花 等 ) 隐 藏 的 信息 要 多 ， 要 提取 更 多 的 信息 ， 在 卷 积 层 需 
要 更 多 的 卷 积 核 ， 而 卷 积 核 的 增 大 会 带 来 计算 规模 的 增 大 。 

维度 相同 情况 下 ， 深 度 可 分 离 卷 积 所 需 
数 和 计算 的 成 本 极 低 ， 参 数量 和 计算 量 


深度 可 分 离 卷 积 进 行 激 活 和 数 


202205.00047V1 


chinaXiv 


录用 定稿 


据 填充 可 以 在 不 影响 效率 的 情况 下 提升 模型 性 能 。 
1.2.2 遗忘 门 
图 2 中 的 最 左边 的 连接 线 和 图 1 中 的 虚线 同样 表示 为 
SEG 块 中 的 残 差 连接 ， 与 普通 残 差 连接 不 同 的 是 ， 原 来 的 
残 差 连接 是 通道 信息 与 残 差 连接 信息 的 简单 相 加 ， 此 处 由 于 
同时 使 用 了 残 差 连接 和 稠密 连接 ， 所 以 为 了 高 效 利 用 在 通道 
中 重复 传递 的 特征 信息 ， 在 残 差 连接 上 舱 入 了 一 个 引入 了 注 
意 力 机 制 的 遗忘 门 对 重复 利用 的 特征 信息 进行 衰减 过 滤 。 
遗忘 门 为 了 满足 对 重用 特征 的 衰减 ， 不 仅 要 保证 特征 信 
息 的 有 效 流 通 ， 而 且 需 将 每 个 通道 权重 的 最 终 输出 映射 控制 
在 (0, ]) 之 间 。 所 以 ， 遗 忘 门 在 引用 了 空间 注意 力 和 通道 注 
意 力 机 制 的 同时 ， 使 用 了 


陈 金 令 ， 


妆 出 


X':HxWxC 
1x1 卷 积 
|s': HxWxl 
Softmax 国 数 
S$S':HxWxl 


全 局 注意 力 池 化 


2z7 :1xlxC 
全 连接 尼 

1x1xC/r’ 
标准 化 + 流 活 范 数 
lxlxC/r’ 


全 连接 层 


lxlxC 
Sigmoid 丽 数 

fi:1x1xC 
+ 


图 3 遗忘 门 
Fig.3 Forget gate 
Step1: 将 特征 图 X'sR2%< 输入 1X1 的 标准 卷 积 ， 输 出 
通道 维 数 减 小 的 空间 注意 力 特征 $' eR ; 
Step2: 利用 Softmax 函数 对 空间 注意 力 特征 图 进行 归 一 


Sigmoid 函数 进行 最 后 的 衰减 工作 。 
遗忘 门 的 结构 如 图 3 所 示 ， 操 作 步 又 主要 分 为 以 下 五 步 : 


等 : 面向 WSI 的 乳腺 病理 亚 型 分 类 研 帘 


在 结构 上 也 有 明 
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访 
九 


显 的 差异 ， 更 新 门 


对 特征 信息 衰减 
间 有 一 个 简单 相 


， 并 且 它 的 最 终 输 旨 
加 操作 。 


| X™ :HxWxC 


一 ”1x1 卷 积 
5S” :HxWxl 
Softmax 函 数 


i 4 Rs 


全 局 注意 力 池 化 


2™ -1xlxC 


令 刀 表示 标 
中 he RYXC/” 


PF 没 有 使 用 
上 和 全 局 注意 力 池 化 层 之 
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Sigmoid 函数 


Zs EE 


全 连接 层 


Ja:1x1xC/r' 


标 


准 化 + 激活 函数 


hn:1xlxC/r" 


3 .1xlxC 


= 


下 连接 肥 


xx 


图 4 更 新 门 


Fig.4 Update gate 
准 化 + 激活 函数 层 后 输出 的 隐藏 特征 图 ， 
性 表示 更 新 门 设置 的 瓶颈 比率 数 。 隐 藏 特征 


图 的 具体 公式 表示 如 下 : 
h=Tanh(BN(W(z33)) +Db) 
其 中 ， W,b 分 别 表示 第 一 个 全 连接 层 的 权重 和 偏 置 值 ， 卓 


W eR ,bpeRo” 


在 经 过 第 二 个 全 连 


lE 接 层 后 生成 通道 注意 力 


隐藏 特征 图 


特征 图 站， 公式 为 


中 ， 


化 得 到 新 的 空间 注意 力 特征 s'eRw* ， 其 中 每 个 元 素 可 用 如 
下 公式 表示 : 


江 | Hn Ww 全 | 
PR A 
Sij1=e Soi/ ie Si 


Step3: 特征 图 8 经 过 全 局 注意 力 池 化 层 (global attention 
pooling)， 生 成 缩小 的 全 局 特征 图 z/ eR”c，, 第 :通道 全 局 特 
征 图 的 表示 公式 如 下 : 


H ew 
Rs 1 于 er 
a 


其 中 ，* 表示 元 素 乘法 。 


Step4: 全 局 注意 力 特征 图 z/ 经 过 两 个 连续 的 全 连接 层 。 


寻 为 网 络 在 训练 过 程 中 ， 上 一 层 训练 参数 的 更 新 会 使 后 一 层 
输入 数据 分 布 也 发 生变 化 ， 两 个 全 连接 层 之 间 加 入 了 一 个 标 
准 化 + 激活 函数 层 (BN+Tanh) 进 行 缓冲 ， 作 用 是 在 两 个 全 连 
接 层 中 进行 一 次 批量 归 一 化 处 理 操 作 。 

Step5: 利用 Sigmoid 函数 进行 最 后 的 衰减 操作 。 

遗忘 门 最 终 的 输出 特征 图 表示 公式 如 下 : 


f =o(W (Tanh(BN(W’z/ |bi)) 1b ) 


其 中 ， 了 表示 遗忘 门 的 最 终 输 出 特征 图 ，W,W 分 别 表示 遗 
忘 门 中 第 i 个 全 连接 层 的 权重 和 偏 置 值 ，o 表示 Sigmoid 函 


数 : 交 表示 遗忘 门 设置 的 瓶颈 比率 数 ， 并 且 f eR ， 
WwW/ eR ， Wi eR/’*C a bl eR 5 by eR° 。 


1.2.3 更 新 门 
更 新 门 的 设立 是 为 了 更 
积 得 到 的 新 特征 ， 具 体 结构 如 
更 新 门 与 遗忘 门 的 差别 在 
衰减 ， 而 更 新 门 的 目的 是 促进 打 


地 处 理 3X3 深度 可 分 离 卷 
4 所 示 。 

遗忘 门 的 目的 是 对 信息 进行 
征 信 息 的 挖掘 和 使 用 。 二 者 


由 而 党 


芝 


Wee,2s 分 别 
HW eR ,pe eRc 。 
第 二 个 全 连接 层 的 输出 Ww 与 全 
z” 相 加 得 到 更 新 门 的 最 终 输 出 v"，veRw< 。 
本 质 上 ， 更 新 门 和 遗忘 门 的 作 月 


IS =W>h+ bs 


表示 第 二 个 全 连接 层 的 权重 和 偏 置 值 ， 


其 
生 


凑 特 征 图 X' 看 做 是 重用 的 | 
积 形成 的 输出 X*s 看 做 是 提取 的 新 特 和 
聚合 新 旧 特 征 构成 最 终 的 输出 Oe 


RF xWxC 总 


局 注意 力 池 化 层 的 输出 


昌 是 将 压缩 单元 形成 的 紧 
特征 ， 将 3X3 的 深度 可 分 离 卷 
FE， 最 后 巧妙 地 提取 和 


仅 能 够 在 节省 参 
而 且 能 够 增强 对 


数量 和 计算 量 的 同时 
更 多 特征 信息 的 挖掘 


Ud 


1.2.4 激活 函数 的 选择 
激活 函数 能 够 为 神经 网 络 训练 过 程 加 入 非 线性 因素 ， 提 
高 模型 的 特征 表达 能 
图 5 展示 了 ReLU、Sigmoid 和 Tanh 三 种 常用 激活 函数 


促进 特征 的 有 效 
能 力 。 


这 种 处 理 方法 不 


th 


19 


的 函数 图 像 。 
2.5 
一 
2.0 i 
bn Sigmoid 
1.51 --- Tanh 


f(x) 


Fig. 5 The function images of relu, 


图 5 ReLU、Sigmoid 和 Tanh 三 种 常 


有 符合 神经 网 络 编码 特点 、 克 服 梯度 下 降 


ReLU 函数 
问题 、 提 高 计算 效率 等 


元 x<0 时 ，ReLU 的 梯度 被 置 零 ， 这 很 


优点 。 但 从 图 
可 以 看 出 ，ReLU 函数 有 两 个 致命 的 人 


5 中 的 ReLU 函数 曲线 
岂 点 。 一 是 当 输 入 神经 


激活 函数 的 函数 图 像 
Sigmoid and Tanh 


了 可 能 导致 x<0 时 神 


经 元 “坏死 ”， 输 入 数据 无 法 激活 。 二 是 ReLU 函数 的 输出 


恒 为 正 值 ， 没 有 负 值 。 


因此 ，ReLU 会 在 很 大 程度 上 破坏 模 
型 的 特征 表示 能 力 ， 导 致 模型 无 法 训练 出 有 效 的 特征 信息 。 
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另外 ，ReLU 函数 不 会 控制 数值 的 幅度 ， 在 深层 网 络 中 数值 (invasive micropapillary carinoma，IMPC)、 温 润 性 小 叶 癌 


幅度 变化 过 大 可 能 导致 模型 无 法 训练 。Sigmoid 函数 和 Tanh 
函数 能 够 有 效 解 决 神经 元 “坏死 ”的 问题 ， 保 护 x<0 时 的 
特征 信息 ， 并 且 控 制 数 值 的 幅度 。 

由 图 $ 可 以 看 出 ， 采 用 Sigmoid 函数 作为 激活 函数 时 ， 

如 果 当 前 输入 参数 (mw,mw) 的 最 佳 优化 方向 是 (td,-d) ， 那 么 
因为 Sigmoid 函数 不 以 0 为 中 心 ， 并 且 输 出 值 恒 为 正 ， 所 以 
模型 将 无 法 实现 最 快 的 参数 更 新 ， 而 是 走 z 字形 逼近 最 优 解 。 
对 此 ， 使 用 以 0 为 中 心 ， 取 值 范围 为 [-1,] 的 Tanh 函数 可 以 
让 模型 的 收敛 速度 更 快 。 

另外 ， Tanh 函数 的 梯度 消失 问题 比 Sigmoid 函数 要 轻 。 
但 Tanh 在 [1 区间 上 的 取 值 近似 线性 ， 这 可 能 会 导致 提取 
的 图 像 特征 有 一 定 的 误差 ， 降 低 特征 学 习 的 准确 度 。 

为 了 解决 Tanh 函数 导致 的 梯度 消失 问题 和 分 类 误差 提 
高 的 问题 ， 本 文选 择 Tanh’ 作为 HC-GCN 的 激活 函数 ， Tanb' 
的 具体 公式 如 下 : 


(invasive lobular carcinoma，ILC)、 和 黏液 癌 (mucoid carinoma， 
MC)、 实 性 乳头 状 乳腺 癌 伴 浸润 (solid papillary caricoma， 
SPC)、 小 管 癌 (tubular carcinoma，TC)。 在 此 将 该 数据 集合 
名 为 乳腺 病理 图 像 分 类 数据 集 (breast pathological image 
classification data set，BreastSeD。 表 1 介绍 了 BreastSet 数据 
集 的 数据 结构 。 


(b) NST 


Tanh = Tanh(x) sigmoid(x) (1) 
选用 Tanh 函数 作为 激活 函数 ， 既 可 以 有 效 解决 “神经 
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元 ”坏死 问题 、 保 护 特 征 信息 、 控 制 数 值 幅度 ， 还 能 够 消除 
近似 线性 处 理 导致 的 分 类 误差 ， 获 得 更 好 的 模型 性 能 和 分 类 
结果 。 另 外 ， 混 合 连接 显著 加 强 了 梯度 的 反 向 传播 ， 可 以 极 
大 程度 地 弥补 激活 函数 可 能 导致 的 梯度 消失 的 问题 。 E 
1.3 ”模型 整体 架构 (c) IMBC (d) ILC 
HC-GCN 的 整体 架构 与 DenseNet 相似 ,不同 的 是 图 7 ”BreastSet 样本 数据 
DenseNet 的 主要 构建 模块 是 稠密 块 (dense block)R24， 而 HC- Fig.7 BreastSet sample data 
GCN 的 主要 构建 模块 是 混合 模块 hybridblock)。 混 合 模块 和 表 1 BreastSet 的 数据 结构 
稠密 块 的 作用 都 是 定义 模型 内 部 瓶颈 块 的 输入 输出 联结 模式 。 Tab. 1 Breastset data structure 
HC-GCN 模型 将 需要 进行 病理 类 别 分 类 的 乳腺 病理 图 像 病理 类 别 总 计 训练 集 验证 集 测试 集 
作为 网 络 的 输入 。 首 先 ， 输 入 图 像 经 过 一 个 由 3X3 卷 积 层 、 MBC 407 325 41 41 
批量 标准 化 (BatchNorm，BN) 和 ReLU 函数 组 成 的 特征 块 做 NST 519 415 152 152 
标准 化 处 理 。 然 后 ， 传 入 混合 模块 与 过 渡 层 交互 连接 的 骨干 AC 133 107 13 13 
网 络 提取 特征 信息 ， 过 渡 层 的 主要 作用 是 控制 通道 数 。 最 后 ， IMPC 597 477 60 60 
提取 到 的 特征 信息 进入 全 局 平均 池 化 (global averagePooling， ILC 757 607 75 75 
GAP) 层 、 全 连接 层 (fully connected layer) 和 Softmax 分 类 器 ， MC 464 372 46 46 
完成 最 后 的 分 类 操作 。 图 6 中 展示 的 HC-GCN 的 骨干 网 络 SPC 496 398 49 49 
是 由 3 个 混合 模块 与 2 个 过 渡 层 交互 连接 构成 的 ， 其 中 每 个 TC 125 101 12 12 
混合 模块 内 部 均 有 多 个 压缩 激活 门 控 单 元 (Squeeze- 总 计 3498 2802 348 348 
Excitation-Gated module，SEG) 以 稠密 连接 的 模式 构成 。 2.2 数据 增强 
nt , Stem Transitionl Transition2 一 GAP FC WSI 有 图 像 的 尺 寸 和 内 存 占用 较 大 ， 因此 BreastSet 数据 
了 条 | 6 时 全 - 凡 | :1 Pe Es 集中 的 图 像 数 据 难 以 被 计算 机 直接 识别 与 应 用 。 为 J 保证 图 
一 | 浊 全 席 扫 ! Ed 沁 全 模 全 3 | 化 [所 | |” 像 数 据 的 精准 读 取 ， 提 高 模型 的 特征 表达 能 力 ， 可 对 数据 集 
图 6 HC-GCN 整体 架构 示意 图 中 的 数据 做 数据 增强 处 理 。 除 改变 尺寸 等 基础 的 数据 增强 方 
Fig.6 Overall architecture schematic of HC-GCN 法 以 外 ， 还 可 使 用 如 图 8 所 示 的 基于 四 又 树 分 割 的 图 像 数 据 
在 实际 应 用 中 ， 为 了 获得 更 好 的 乳腺 病理 图 像 的 病理 类 别 。 增强 方法 [2331。 


分 类 效果 ， 可 以 通过 改变 网 络 中 的 混合 模块 、SEG 块 的 数量 和 


L=1 L=2 
调 ] 参数 等 方 ; 色 建 不 同 结构 芯 】 呈 
调试 超 参 数 等 方法 来 构建 不 同 结构 的 HC-GCN 有 : Sd. 人 pl | 
2 ”数据 集 来 源 及 处 理 Pe = 一 一 一 
es 沁 更 罗 
2.1 数据 集 来 源 0 By |/ Ll 


WSI 
行 查 


本 文采 用 的 图 像 数 据 是 由 绵阳 市 中 心 医院 提供 的 乳腺 病理 
图 像 ， 源 文件 为 KFB 格式 ， 可 利用 K-Viewer 软件 对 其 进 
看 和 处 理 。 图 7 展示 了 BreastSet 数据 集中 的 部 分 样本 。 


] 又 树 图 像 分 割 方法 


Fig.8 Quad-tree image Segmentation method 


将 原始 数据 导出 格式 为 png 的 RGB 三 通道 图 像 后 可 形 四 又 树 是 一 种 树 状 数据 结构 ， 在 每 一 个 节点 上 会 有 四 个 
成 分 类 数据 集 ， 数 据 集 包含 了 来 自 患 不 同 乳 腺 癌 病 症 患 者 的 子 区 块 ， 常 应 用 于 二 维 空 间 数 据 的 分 析 与 分 类 。 它 将 数据 区 
3498 张 的 WSI 病理 图 像 ， 分 类 标签 共有 八 种 : 伴 有 和 髓 样 特 分 成 为 四 个 象限 。 数 据 范 围 可 以 是 方形 或 矩形 或 其 他 任意 形 
征 乳腺 癌 (medullary breast carinoma，MBC)、 非 特殊 类 型 浸 。” 状 。 四 又 树 有 一 个 连续 的 结构 组 成 ， 在 每 一 层 ， 将 上 一 层 的 
润 性 癌 (non-special type invasive breast carcinoma,，NST)、 浸 输入 图 像 均 等 分 成 4 个 部 分 。 在 分 割 之 后 ， 每 块 子 图 像 都 被 
润 性 大 汗腺 癌 (apocrine carinoma，AC)、 漫 润 性 微 乳 头 状 癌 认为 与 原始 图 像 具 有 相同 的 类 标签 。 
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2.3 融合 算法 

于 采用 了 基于 四 又 树 的 图 像 分 割 方法 ， 一 张 图 片 被 分 
制 成 多 个 子 图 像 块 ， 每 个 图 像 块 在 经 过 模型 计算 可 能 产生 不 


同 的 分 类 结果 ， 故 需要 融合 算法 将 每 个 图 像 块 的 分 类 结果 有 
效 地 整合 起 来 ， 常 用 的 融合 算法 有 和 规则 、 乘 积 规则 、 最 大 


乘积 规则 : 


最 大 值 规则 : 
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kK N 
$=argmax [9 


天 N 
$=arg max max p(k) 


G3) 


(4) 


其 中 ， p(k) 表示 为 1 张 图 片 的 第 i 个 子 图 像 块 被 模型 分 为 类 的 


值 规则 、 多 数 投票 规则 等 。 和 规则 、 乘 积 规则 和 最 大 值 规则 ”概率 值 ，K 表示 病理 类 别 总 数 ，N 表示 1 张 图 片 的 切 分 块 总 数 。 
算法 的 具体 计算 公式 P 如 下 ; 本 文采 用 的 是 多 种 融合 算法 相 结合 的 整合 方法 。 图 9 展示 了 1 
病 及 人 互 中 人 汶 疆 品 三 输 由 的 分 类 疆 果 
和 规则 ， pe 僻 oO) 张 病例 图 片 的 完整 融合 分 类 结果 过 程 ， 最 后 输出 的 分 类 结果 
呈 天 三 种 融合 规则 得 出 的 分 类 结果 投票 决定 。 
Block 计算 类 别 和 概率 a 类 别 Classification 
Dg :人 [类别 类 别 概率 types classification 
wt las | 概率 || 概率 类 别 0 MBC 
一 一 乘积 规则 概率 
a 国生 各 | 类别 || 类 别 Ea es 和 
, 谎 Ped | 概率 || 概率 | _ 类 别 7 更 
最 大 值 规则 概率 
图 像 切 分 HC-GCN 融合 算法 投票 
图 9 ”融合 分 类 结果 示意 图 
Fig.9 Schematic diagram of fusion classification results 
2.4 评价 标准 


记录 模型 训练 和 测试 的 结果 ， 是 进一步 完善 模型 和 评价 
模型 质量 的 依据 司 。 为 了 评价 模型 在 面向 WSI 的 乳腺 病理 
亚 型 分 类 任务 上 的 适用 性 ， 本 文 计算 了 分 类 准确 率 
(accuracy)、 模 型 参数 (params)、 计 算 浮 点 数 (FLOPs)、 精 确 
率 ( 查 准 率 , precision，P)、 召 回 率 ( 查 全 率 recall, R) 和 Fl 评 
分 (Fl scores, F1) 等 参数 进行 评估 。 
在 医学 领域 ， 计 算 机 辅助 诊断 模型 的 分 类 准确 率 包 含 
图 像 级 、 患 者 级 和 病理 级 三 种 。 图 像 级 的 准确 率 (image- 
level accuracy，IA) 指 的 是 被 正确 分 类 的 图 像 数 量 占 样本 总 
数量 的 比率 ， 患 者 级 的 准确 率 (patient-level accuracy，PA) 
指 的 是 每 位 患者 对 应 的 乳腺 病理 图 像 分 类 准确 率 平 均值 ， 
病理 级 的 准确 率 (pathological-level accuracy，PLA) 指 的 是 


多 分 类 情况 下 的 每 种 病理 类 型 对 应 的 乳腺 病理 图 像 分 类 准 
确 率 平均 值 。 


精确 率 、 召 回 率 、F1 评分 是 衡量 模型 性 能 的 重要 指标 。 
精确 率 是 被 诊断 为 阳性 的 患者 是 真 阳性 的 概率 ， 召 回 率 是 真 阳 
性 患者 被 诊断 为 阳性 的 概率 。 模 型 具有 较 高 的 精准 率 可 以 减少 
误诊 率 ， 防 止 正常 人 被 错误 治疗 和 医疗 资源 的 浪费 ， 模 型 具有 
较 高 的 查 全 率 可 以 减少 漏诊 率 ， 防 止 患者 错过 最 佳 治疗 时 间 。 
Fl 分 数 (F1 Score) 是 统计 学 中 用 来 衡量 模型 精确 度 的 重 
要 指标 93， 也 是 模型 精准 率 和 召回 率 的 一 种 调和 平均 。 具 
本 计算 公式 见 式 (5)~(7)。 


TP 


recision = 一 一 一 -一 5 
TP+FP G) 
recal=— 2 (6) 
TP+FN 
Fl=2x precision x recall 7 
Precision+recall (7) 


其 中 ，TP 表示 真 阳性 数量 ， 
假 明 性 数量 。 
在 对 病理 进行 多 分 类 的 情况 下 ， 计 算 模型 的 精确 率 、 
召回 率 和 Fl 评分 时 需要 计算 相应 的 宏 平均 值 (Macro) 和 微 
平均 值 (Micro)。 宏 平均 值 是 指 分 别 计算 每 个 病理 类 别 的 精 


FP 表示 假 阳 性 数量 ，FN 表示 


确 率 、 召 回 率 和 了 Fl 评分 的 平均 值 ， 平 等 地 对 待 每 个 类 别 ， 
羽 此 容易 受到 样本 数量 较 少 的 类 别 的 影响 。 微 平均 值 是 指 
不 区 分 类 别 ， 整 体 计 算 精 确 率 、 召 回 率 和 了 Fl 评分 ， 平 等 的 


根据 计算 原理 ，Micro-P，Micro-R 和 Micro-F1l 在 数值 上 与 
IA 相等 。 


3 ”实验 
3.1 实验 环境 
实验 用 的 硬件 配置 和 运行 环境 如 表 2 所 示 。 
表 2 实验 环境 


Tab.2 Lab environment 


环境 名 称 及 对 应 版 本 

操作 系统 Ubuntu 18.04.2 

编程 语言 Python 3.6.13 
CPU Intel Core i7-10870H(2.20GHz) 
GPU NVDIA GeForce GTX 1660Ti 
框架 PyTorch1.6, Torchvision0.7.0 


对 待 每 个 样本 ， 因 此 容易 受到 样本 数量 较 多 的 类 别 的 影响 。 


3.2 ”模型 架构 与 超 参 数 设置 
为 了 获得 更 好 的 模型 分 类 效果 ， 经 过 多 轮 的 测试 和 调整 混 
合 模块 中 的 SEG 块 的 数量 和 增长 率 (growth rate) 等 结构 和 参数 
设置 ， 构 建 了 一 个 由 3 个 混合 模块 ， 每 个 混合 模块 包含 8 个 
SEG 块 的 HC-GCN 模型 。 表 3 展示 了 模型 的 具体 结构 设置 。 
表 3 HC-GCN 架构 配置 
Tab.3 HC-GCN Architecture for breasthis Classification 


Stage HC-GCN2 IR 
[3x3 Conv-BN-ReLU]x3 224x224 
Stem 
3x3 max pool 112x112 
Hybrid Blockl SEGx8, k=24 56x56 
transitionl SEGx1 S56x56 
Hybrid Block2 SEGx8, k=36 28x28 
transition2 SEGx1 28x28 
Hybrid Block3 SEGx8, k=64 14x14 
lobal average pool 1x1 
Classification 5 oP 
FC, Softmax - 


另外 ， 模 型 中 几 个 比较 重要 的 超 参数 设 定 如 下 : 批 样本 
大 小 (batch size) 为 16, epoch 为 100， 学 习 率 (learning rate) 为 
0.1， 过 渡 层 和 混合 模块 之 间 的 压缩 因子 6 为 0.5;SEG 块 中 
3X3 组 卷 积 的 组 数 8 为 ， 宽 度 乘 数 & 为 4， 更 新 门 和 遗 态 门 
的 缩减 比 (m*=x/) 为 2， 步 长 $ 为 1; 过渡 层 中 设置 8 为 1， 
=r 为 2，Q 为 1.5， 步 长 S 为 2; 深度 可 分 离 卷 积 核 大 小 
(kernel size) 为 2。 
3.3 ”训练 与 测试 

如 表 1 所 示 ， 实 验 前 按照 8: 1: 1 的 比例 分 配 训练 集 、 
验证 集 和 测试 集 。 本 文 对 乳腺 病理 图 像 数据 增强 的 第 0 层 和 
慨 进 行 了 训练 ， 即 训练 时 分 为 直接 使 用 原始 数据 进行 训 


种 1 
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练 和 对 图 像 进行 四 切 分 后 训练 两 种 模式 ， 四 切 分 时 每 张 原始 式 下 对 应 得 出 的 数据 可 以 看 出 ， 四 切 分 训练 模式 得 出 的 准确 
图 像 被 切割 成 4 块 进行 训练 和 投票 融合 。 率 、F1 评分 等 准确 率 性 能 数据 均 优 于 原始 数据 训练 模式 。 

图 10 是 HC-GCN 基于 BreastSet 数据 集 得 出 的 训练 集 损 同时 ， 从 图 10 可 以 看 出 ， 四 切 分 训练 模式 相 比 原 始 数据 训 


失 曲 线 和 验证 集 图 像 级 准确 率 曲线 ， 图 中 向 上 弯曲 的 实 线 练 模 式 ， 验 证 集 图 像 准 确 率 曲 线 数值 普遍 更 高 ， 训 练 集 损失 
线 表 示 对 原 数据 分 类 的 验证 集 图 像 级 准确 率 曲 线 (Acc0)， 向 昌 线 数值 普遍 更 低 ， 证 明 使 用 基于 四 又 树 分 割 的 图 像 数据 增 
下 弯曲 的 实 线 曲 线 表 示 对 原 数 据 分 类 的 训练 集 损失 曲线 ， 强 方法 有 助 于 提高 模型 对 于 乳腺 病理 WSI 图 像 的 分 类 性 能 。 


lu 


=| 


(Loss0); 向 上 弯曲 的 点 状 曲线 表示 四 切 分 训练 模式 下 得 出 HC-GCN 只 需要 用 到 很 少 的 参数 量 和 计算 量 就 可 以 达到 
的 验证 集 图 像 级 准确 率 曲线 (Accl)， 向 下 弯曲 的 点 状 曲线 表 ”和 较 好 的 病理 类 型 识别 精度 ， 有 助 于 降低 模型 对 计算 资源 的 依 
示 四 切 分 训练 模式 下 得 出 的 训练 集 损失 曲线 (Loss1)。 赖 、 增 加 模型 的 扩展 性 和 可 移植 性 。 


3.5 与 其 他 方法 比较 

本 文 还 选用 了 多 种 经 典 热门 的 图 像 分 类 模型 与 HC-GCN 
进行 对 比 ， 每 个 模型 均 基 于 BreastSet 数据 集 进行 了 病理 ， 
型 分 类 ， 实 验 结果 如 表 4 所 列 。 

从 表 4 可 以 看 出 ， 许 多 优秀 模型 均 能 够 在 乳腺 病理 图 像 
分 类 任务 上 获得 较 高 的 分 类 准确 率 。 与 各 级 别 准确 率 最 高 的 
网 络 模 型 DenseNet121 相 比 ，HC-GCN 在 原始 数据 训练 模式 


zm 


po 下 获得 的 图 像 级、 患者 级 和 病理 级 准确 率 分 别提 高 了 1.14%、 

图 10 ”训练 集 损失 曲线 和 验证 集 图 像 级 准确 率 曲 线 0.23% 和 0.65%; 在 四 切 分 训练 模式 下 获得 的 图 像 级 、 患 者 

Fig. 10 Image-level Accuracy of Verification and Loss of Training 级 、 病 理 级 准确 率 分 别提 高 了 0.37%，0.40% 和 0.65%， 说 明 
图 10 可 知 ，HC-GCN 在 原 数 据 集 和 四 切 分 模式 上 进 ”HC-GCN 相 比 DenseNet 模型 能 够 获得 更 高 的 分 类 准确 率 ; 


rr 


行 训练 时 都 能 获得 较 好 的 准确 率 结 果 和 较 少 的 损失 ， 说 明 本 ”并且 HC-GCN 所 需 的 参数 量 和 计算 浮 点 数 大 约 分 别 只 
文 建立 的 模型 具有 一 定 的 准确 性 和 科学 性 ， 模 型 的 训练 集 和 ”DenseNet121 网 络 模型 的 3/8 和 1/6， 有 效 地 减轻 了 特征 重用 机 种 
验证 集 损失 曲线 显示 在 BreastSet 数据 集 上 的 训练 过 程 较 平稳 ， 导致 的 元 余 度 过 大 问题 ， 节 省 了 计算 资源 。 与 具有 较 小 参数 量 和 
说 明 模 型 具有 稳定 性 ， 当 epoch 大 于 等 于 40 时 ， 准 确 率 和 损失 “模型 ShuffleNetv2 相 比 ，HC-GCN 在 使 用 更 小 的 参数 量 和 计算 量 
的 数值 就 已 经 较 高 并 逐渐 收敛 ， 说 明 模 型 具有 收敛 性 。 的 情况 下 ， 原 始 数据 训练 模式 下 的 图 像 级 、 患 者 级 和 病理 级 准确 
对 比 图 10 中 两 种 训练 模式 的 验证 图 像 级 准确 率 曲线 ， 率 分 别提 高 了 9.77%、9.53% 和 9.45%， 四 切 分 训练 模式 下 的 图 像 
可 以 看 出 两 种 训练 模式 下 HC-GCN 的 训练 准确 率 曲线 平滑 ， 级 、 患 者 级 和 病理 级 准确 率 分 别提 高 了 5.57%，3.53% 和 17.61%。 


4 


Ea 
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获得 的 准确 率 数值 较 高 ， 说 明 HC-GCN 模型 适用 于 对 当前 与 其 他 具有 更 小 的 计算 量 的 模型 AlexNet 、MobileNetv2 和 

乳腺 病理 数据 集 进行 亚 型 分 类 研究 。 MobileNetv3 相 比 ， 尽 管 HC-GCN 多 使 用 了 0.19GB~0.28GB 的 计 

3.4 实验 结果 分 析 算 量 ， 但 原始 数据 训练 模式 下 的 图 像 级 、 患 者 级 和 病理 级 别 准 确 
表 4 展示 了 本 文 所 提 方 法 和 其 他 较 经 典 的 深度 学 习 方法 率 分 别提 高 了 5.46%~19.54%、5.84%~16.89% 和 6.66%~29.32%， 


基于 BreastSet 数据 集 的 分 类 实验 结果 。 四 切 分 训练 模式 下 的 图 像 级 、 患 者 级 和 病理 级 准确 率 分 别提 高 了 
从 表 4 中 各 种 模型 在 原始 数据 训练 模式 和 四 切 分 训练 模 6.24%~12.33%、5.93%~12.37 和 5.24%~11.75%。 


nt 


表 4 实验 结果 
Tab.4 Accuracy, Params, Flops, Precision, Recall and Fl Scores of Classification 
模型 L=0 L=1 Params Flops 
IA PA PLA Macro-P Macro-R Macro-Fl] IA PA PLA Macro-P Macro-R Macro-Fl /MB /GB 
AlexNet 78.74 77.64 77.68 85.05 77.68 81.53 85.14 84.25 83.44 83.55 83.44 83.49 16.63 0.30 


VGGI11 84.48 86.19 85.75 87.52 85.75 87.03 86.73 87.21 85.00 85.20 85.00 85.01 132.86 7.62 
VGG13 85.06 87.10 86.33 88.20 86.33 87.71 85.26 85.59 81.53 84.07 81.53 82.49 133.05 11.32 
VGGI16 81.61 82.72 82.51 82.84 82.51 82.65 84.28 84.10 81.30 82.71 81.41 81.52 138.36 15.48 
VGG19 81.90 83.91 83.65 87.38 83.65 85.25 82.94 83.49 79.47 81.82 79.47 80.18 133.05 19.65 
GoogLeNet 84.77 86.78 85.90 88.68 85.90 87.86 88.93 86.80 87.18 88.20 87.17 87.58 7.00 1.59 
ResNet34 62.93 65.51 48.45 59.2 48.45 51.96 68.49 69.37 69.74 69.58 70.07 69.82 21.99 6.67 
ResNet50 69.83 71.75 59.07 65.13 59.07 61.71 71.78 72.83 71.95 73.12 78.90 75.91 25.56 4.11 
ResNet101 72.13 74.38 61.61 72.71 61.61 65.08 78.41 79.46 79.18 80.29 79.31 79.80 44.55 7.83 
ResNet152 67.53 68.36 59.04 67.18 59.04 62.24 78.30 78.55 78.35 77.72 78.56 78.34 57.67 9.18 
ResNext50 68.39 69.59 54.84 65.87 54.84 58.29 75.76 76.55 75.52 78.04 77.39 77.72 25.03 4.26 
ResNext101 71.55 71.83 62.42 70.18 62.42 65.66 78.67 79.71 79.03 80.56 79.57 80.06 88.89 ”16.48 
MobileNetv2 71.26 73.95 61.51 70.99 61.51 64.90 79.91 80.46 80.43 80.40 86.89 83.52 3.51 -0.31 


MobileNetv3 85.34 85 84.17 83.96 84.17 83.82 86.00 86.90 86.94 87.29 88.73 88.00 5.48 0.22 
DenseNetl21 89.66 90.61 90.18 90.73 90.18 90.53 91.87 92.43 91.S3 91.46 91.53 91.47 7.98 2.87 
DenseNet169 85.87 86.09 84.50 83.86 84.50 84.11 88.79 90.31 89.45 90.23 89.45 90.15 14.15 3.40 
DenseNet201 89.37 90.16 89.36 90.57 89.36 90.39 91.26 91.79 91.01 90.93 91.01 90.98 20.01 4.34 
DenseNet264 87.08 87.42 87.74 84.88 86.53 85.66 89.08 90.16 89.76 90.57 89.76 90.40 28.68 7.79 
EfficientNetb0 87.93 89.04 88.17 89.40 88.17 88.57 88.20 88.78 86.44 87.79 86.44 86.93 5.29 0.65 
ShuffleNetv2 81.03 81.31 81.38 79.54 81.38 80.88 86.67 89.30 74.57 87.09 74.57 78.69 2.28 1.08 
RegNetxl.2gf 87.36 89.47 89.28 89.08 89.28 89.18 90.53 91.61 89.94 89.88 89.94 89.89 46.11 13.61 

HC-GCN 90.80 90.84 90.83 90.90 90.83 90.89 92.24 92.83 92.18 91.97 92.18 92.07 3.06 0.50 
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注 ;: 其 中 ， 加 粗 的 数值 表示 在 同 家 族 模 型 中 的 同 指标 最 优 值 ， 组 卷 积 、3 X3 深度 可 分 离 卷 积 和 Dropout 层 各 一 个 ， 设 计 第 
灰色 底 纹 的 数值 表示 其 他 模型 的 同 指标 最 优 值 。 一 组 实验 的 目的 是 将 其 与 添加 各 种 模块 结构 后 的 模型 形成 对 
与 表 4 列 出 的 其 他 模型 相 比 ，HC-GCN 在 使 用 更 小 的 参 I 效 提升 模型 的 分 类 性 能 。 第 二 组 
数量 和 计算 量 的 同时 获得 了 更 优 的 准确 率 、 精 确 率 、 召 回 率 至 第 四 组 消融 实验 中 ， 删 除了 瓶颈 模块 中 的 标准 正则 化 层 、 
和 了 Fl 评分 数值 。 实 验 结果 说 明 HC-GCN 显著 提升 了 对 WSI a a ann 遗 
乳腺 病理 图 像 的 亚 型 分 类 性 能 。 忘 门 和 更 新 门 结构 ， rt or 这 样 
综 上 所 述 ， 与 其 他 方法 相 比 ，HC-GCN 不 仅 能 够 提高 乳 。” ”设计 的 目的 是 观察 各 结构 对 模型 性 能 的 影响 。 
腺 病理 图 像 的 病理 类 别 分 类 准确 率 ， 而 且 可 以 减少 模型 所 需 观察 表 5 中 对 应 的 准确 率 数 值 可 知 ， 第 二 组 较 第 一 
的 参数 量 和 计算 量 ， 节 省 计算 资源 。 第 四 组 较 第 三 组 的 准确 率 数 值 增幅 较 大 ， 说 明 残 差 连接 和 更 
3.6 ”消融 实验 新 门 结构 有 利于 提高 模型 的 分 类 准确 率 。 观 察 第 二 组 和 第 三 
为 了 测试 和 验证 本 文 所 提 方 法 和 模块 的 有 效 性 ， 设 计 了 组 实验 数据 可 知 ， 添 加 遗忘 门 的 操作 不 会 对 模型 的 分 类 准确 


73.68 


四 组 互 为 对 照 的 消融 实验 。 表 5 展示 了 消融 实验 中 依次 添加 。”” 率 和 参数 量 产 生 较 大 影响 ， 同 时 遗 态 门 的 衰减 操作 有 效 地 降 
改进 结构 模块 的 情况 。 低 了 模型 的 计算 量 。 观 察 第 三 组 和 第 四 组 实验 数据 可 知 ， 更 
表 5 中 ，RC 表示 残 差 连接 ，FG 表示 遗忘 门 ，UG 表示 ”新 门 只 需要 占用 较 少 的 参数 量 和 计算 量 就 能 够 使 模型 的 分 类 
更 新 门 。 第 一 组 消融 实验 中 每 个 瓶颈 块 包 含 标准 正则 化 层 ”准确 率 获 得 较 大 的 提升 。 综 上 所 述 ， 本 文 所 提 的 混合 连接 模 
(Batch normalization)、ReLU 激活 函数 层 、1X1 卷 积 、3X3 ” 式 和 SEG 块 结构 均 能 有 效 地 提升 模型 性 能 。 
表 5 消融 实验 
Tab.5 Ablation experiment 
模型 RC FG UG IA PA PLA Params/MB Flops/GB 
1 84.77 84.96 84.22 2.38 2.07 
2 ~ 88.51 89.47 89.29 2.38 0.89 
3 ~ ~ 88.79 88.98 88.62 2.72 0.43 
4 V V ~ 92.24 92.83 92.18 3.06 0.50 
3.7 与 其 他 文献 中 方法 比较 4 ”结束 语 
为 了 证 明 HC-GCN 模型 的 优越 性 和 通用 性 ， 本 文 还 将 A 
其 得 出 的 实验 结果 与 其 他 文献 中 使 用 的 乳腺 病理 图 像 分 类 方 本 文 提出 基于 混合 连接 的 门 控 卷 积 网 络 模型 对 乳腺 病理 
法 进行 了 对 比 。 图 像 进 行 亚 型 分 类 ， 运 用 来 自 绵阳 市 中 心 医 院 的 乳腺 病理 
图 11 展示 了 HC-GCN 与 其 他 乳腺 病理 图 像 分 类 方法 的 作证 人 dl 入 贷 生 : 使 用 基于 四 又 树 的 图 像 分 
图 像 级 准确 率 对 比 情况 ， 其 中 的 实验 数据 结果 均 是 基于 大 型 ” 制 增强 方法 进行 数据 增强 ， 采 用 融合 算法 和 投票 制 规则 决定 
公开 的 BreakHis 数据 集 得 出 的 ，[5]~[16] 分 别 表示 文献 ”每 张 WSI 的 最 终 分 类 。 实 验 结果 表明 ， 本 文 所 提 的 HC- 
[5]~[16] 中 所 提 方 法 ， 当 文献 中 所 提 方 法 或 训练 方法 不 唯一 GCN 模型 在 乳腺 病理 WSI 图 像 分 类 问题 上 能 够 获得 较 好 的 
BR 确 率 最 高 数值 。 结果 ， 所 提 的 混合 连接 、 更 新 门 和 遗忘 门 结构 均 能 够 有 效 提 
pe 0 升 模型 性 能 。 同 时 ，HC-GCN 模型 还 具有 良好 的 通用 性 和 泛 
”| 于 四 化 能 力 。 
本 文 方法 也 适用 于 其 他 WSI 病理 图 像 (例如 宫颈 癌 组 织 
a i 切片 图 像 等 ) 的 视觉 分 类 和 辅助 诊断 ， 能 够 在 一 定 程度 上 满 
9 目 足 临 床 需 求 。 在 后 续 的 实验 中 ， 可 考虑 对 原始 WSI 乳腺 病 
cc 理 图 像 数据 进行 定位 标注 ， 对 BreastSet 数据 集 进行 图 像 分 
i 割 和 病灶 定位 ， 对 多 种 病理 类 别 中 难以 分 类 的 特征 加 入 自 适 
pa ee pp 应 调整 模块 等 方面 进一步 展开 研究 。 
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